1446 ist ein Burgfriedensvertrag überliefert, der das Zusammenleben der mittlerweile zahlreichen Ganerben regelt.
Nachdem die Herren von Mudersbach, die inzwischen die Burg in ihren Besitz gebracht hatten, ausgestorben waren, ging um 1600 die Erbfolge an die Herren von Kronberg über. Im 30jährigen Krieg wird die Burg erheblich beschädigt.
Mit Johann Niklas stirbt hier 1704 der letzte der Herren von Kronberg (bestattet in der Kirche zu Hahnstätten). Es folgen Umbauten durch die Waldecker von Kempt, 1713 wird ein neuer Wohnbau errichtet.
1753 fällt die Herrschaft Hohlenfels an Nassau zurück, ab 1768 wird die baufällige Burg besonders in ihren mittelalterlichen Bereichen teilweise abgebrochen. Das Dachwerk des Bergfrieds und der angrenzenden Schildmauer wird abgetragen und das gewonnenen Baumaterial für die Instandsetzung des Wirtschaftshofes Hohlenfels im Tal verwendet und teilweise versteigert.
Von um 1800 bis 1885 ist hier der Sitz einer Nassauischen Forstmeisterei.
In den späten 1880er Jahren beherbergt der Barockbau der Burg nach langjährigem Leerstand eine neue Nutzung als Gastronomiebetrieb und Pension.
Als Eigentümer der Burg folgen seit Beginn der 1960er Jahre die Nerother Wandervögel.
1978 geht die Anlage schließlich in Privatbesitz über.